在前一篇文章中，我們探討了 Zero-1-to-3 系列模型的應用，其效果非常驚人。不過，如果僅用一張圖片來重建完整的 3D 模型，讓系統自行「腦補」看不到的部分，對模型來說是個挑戰。通常我們會從多個角度拍攝物件的照片，以提供模型重建時更完整的參考依據。

過去幾年來，多角度的 3D 建模技術吸引了許多研究者的關注，其中 NeRF（神經輻射場）技術更成為了一個標誌性解決方案。然而，2023 年 3D Gaussian Splatting（簡稱 3DGS）技術的誕生，因其高效且簡便，逐漸成為新的焦點。

3DGS 技術介紹

3DGS，全名為 3D Gaussian Splatting（中文有人翻作「3D 高斯潑濺」），雖然是 2023 年才發表的新技術，但它的表現已經在計算機視覺領域引起廣泛關注。相比 NeRF，3DGS 的速度更快，訓練效率也高得多，能夠快速重建 3D 場景，並且生成的效果不輸 NeRF。使用者只需提供多角度的 2D 照片或影片，3DGS 就能自動學習並重建出高品質的 3D 模型。

3DGS 與 NeRF 的比較

在 3D 建模領域，NeRF (Neural Radiance Fields) 曾一度是備受矚目的技術，但 3DGS 的出現，為這個領域帶來了新的突破。以下表格比較了 3DGS 和 NeRF 的一些關鍵差異：

總體來說，3DGS 在速度和效能上優於 NeRF，更適合應用於實時性要求高或算力受限的場景。

如果想深入了解 3DGS，可以參考以下資源：

• 中文資料：CSDN 文章 | 百度雲文章
• 英文資料：arXiv 論文

3DGS 的原理與實作

3DGS 的核心在於將場景表示為大量帶有空間資訊的「高斯橢球」，這些橢球包含位置信息、形狀、顏色和透明度，並在渲染過程中利用這些橢球來生成 3D 圖像。

主要步驟：

1. 運動恢復結構 (SfM)：從多張 2D 照片中提取出相同特徵點，進而估算出初步的 3D 點雲和相機位置。這可以通過使用現有的 SfM 函式庫（如 COLMAP）來完成。
2. 初始化：根據 SfM 生成的點雲來計算高斯橢球的位置、形狀、顏色和透明度等參數。
3. 投影：依據相機位置，將高斯橢球按深度排序並投影到 2D 圖像平面上。
4. 光柵化渲染 (Splatting)：將每個高斯橢球轉換為一個可渲染的像素，生成 2D 圖像。
5. 自適應密度控制：根據渲染圖像和原始照片的差異，不斷調整高斯橢球的大小和密度，以更好地擬合原始圖像中的細節。

簡單來說，3DGS 通過優化高斯橢球的參數，使生成的圖像與輸入的照片更接近，從而構建出逼真的 3D 場景。

3DGS 實作參考資源

• 論文: 3D Gaussian Splatting for Real-Time Radiance Field Rendering
• 程式碼: Github 儲存庫
• 教學: Youtube 上有許多關於 3DGS 的教學影片，可以搜尋 "3D Gaussian Splatting Tutorial"
• 應用程式:
  • Postshot：一款支援 NeRF 及 3DGS 技術的 3D 建模軟體，提供易於使用的介面和雲端計算功能。
  • Polycam：一款支援多平台的 3D 掃描應用程式，可透過 3D Gaussian Splatting 技術替你的手機內的照片建立物品的 3D 模型。
  • Luma AI：一款主打高品質 3D 掃描的應用程式，支援 3D Gaussian Splatting 技術，提供免費和付費版本。
  • KIRI engine：一款 Android 手機上就可以使用的 3D 建模 APP，也同樣支援 3D Gaussian Splatting 技術為物品建模。

結語

3D Gaussian Splatting 是一個充滿潛力的新技術，相較於過去的 NeRF，展現了更高效的建模和渲染速度。隨著技術的發展，我們將看到它在更多應用中的實現，尤其是需要高效率和即時性建模的場景。明天我們將介紹幾款 Android 上的 3D 掃描 APP，這些應用程式部分已經集成了 3DGS 技術，是你進行 3D 掃描建模的絕佳工具。

撰文者: Winston